Data Summarizations for Scalable, Robust and Privacy-Aware Learning in High Dimensions

The advent of large-scale datasets has offered unprecedented amounts of information for building statistically powerful machines, but, at the same time, also introduced a remarkable computational challenge: how can we efficiently process massive data? This thesis presents a suite of data reduction methods that make learning algorithms scale on large datasets, via extracting a succinct model-specific representation that summarizes the full data collection—a coreset. Our frameworks support by design datasets of arbitrary dimensionality, and can be used for general purpose Bayesian inference under real-world constraints, including privacy preservation and robustness to outliers, encompassing diverse uncertainty-aware data analysis tasks, such as density estimation, classification and regression. We motivate the necessity for novel data reduction techniques in the first place by developing a reidentification attack on coarsened representations of private behavioural data. Analysing longitudinal records of human mobility, we detect privacy-revealing structural patterns, that remain preserved in reduced graph representations of individuals’ information with manageable size. These unique patterns enable mounting linkage attacks via structural similarity computations on longitudinal mobility traces, revealing an overlooked, yet existing, privacy threat. We then propose a scalable variational inference scheme for approximating posteriors on large datasets via learnable weighted pseudodata, termed pseudocoresets. We show that the use of pseudodata enables overcoming the constraints on minimum summary size for given approximation quality, that are imposed on all existing Bayesian coreset constructions due to data dimensionality. Moreover, it allows us to develop a scheme for pseudocoresets-based summarization that satisfies the standard framework of differential privacy by construction; in this way, we can release reduced size privacy-preserving representations for sensitive datasets that are amenable to arbitrary post-processing. Subsequently, we consider summarizations for large-scale Bayesian inference in scenarios when observed datapoints depart from the statistical assumptions of our model. Using robust divergences, we develop a method for constructing coresets resilient to model misspecification. Crucially, this method is able to automatically discard outliers from the generated data summaries. Thus we deliver robustified scalable representations for inference, that are suitable for applications involving contaminated and unreliable data sources. We demonstrate the performance of proposed summarization techniques on multiple parametric statistical models, and diverse simulated and real-world datasets, from music genre features to hospital readmission records, considering a wide range of data dimensionalities.Nokia Bell Labs, Lundgren Fund, Darwin College, University of Cambridge Department of Computer Science & Technology, University of Cambridg

Reconfigurable Discrete Controller Synthesis for Multi-Robot Coordination in Leader/Follower Scheme based on Individual Agent Specifications

79 σ.Μία συνήθης εργασία σε ένα σύστημα πολλών κινητών ρομπότ σε αρχιτεκτονική οδηγού - ακολούθων είναι η ανάθεση στον οδηγό μιας διαδρομής σε ένα (μερικώς) άγνωστο χώρο. Η διαδρομή αυτή προκύπτει από την προβολή στο χώρο εργασίας ενός συνόλου σύνθετων ενεργειών που πρέπει να εκτελέσει ο οδηγός, όπως η επίσκεψη περιοχών του χώρου εργασίας με συγκεκριμένη σειρά ή περιοδικότητα, που ως επί το πλείστον έχουν διατυπωθεί σε μια αρκούντως εκφραστική τυπική γλώσσα (π.χ. \en {LTL}). Αντίστοιχα, σε καθέναν από τους ακολούθους ανατίθεται να διατηρούν επικοινωνία με ένα σύνολο από άλλα ρομπότ εντός της ομάδας. Ένα μείζον ζητούμενο στα συστήματα πολλών ρομπότ είναι η συνεχής διατήρηση της ολικής συνδεσιμότητας του δικτύου. Ωστόσο, η κίνηση του συστήματος σε έναν άγνωστο χώρο εργασίας με ένα σχήμα όπως το ανωτέρω συνεπάγεται ότι για τη διέλευση του δικτύου από περιοχές με εμπόδια συχνά απαιτείται η αναπροσαρμογή των σχέσεων τοπικής συνδεσιμότητας μεταξύ των ρομπότ, ούτως ώστε η εργασία να περατώνεται (δηλαδή το σύστημα να κινείται στη δοθείσα διαδρομή) χωρίς απώλεια της ολικής συνδεσιμότητας. Στην παρούσα εργασία προτείνουμε: (α) έναν κατανεμημένο αλγόριθμο που επιτρέπει την κίνηση του συστήματος με διατήρηση των σχέσεων τοπικής συνδεσιμότητας, (β) έναν αλγόριθμο δυναμικής αναδιαμόρφωσης των σχέσεων τοπικής συνδεσιμότητας που διατηρεί την ολική συνδεσιμότητα του δικτύου, όταν δεν επιτρέπεται η κίνηση του συστήματος με βάση το αρχικό σύνολο προδιαγραφών γειτνίασης λόγω εμποδίων στο χώρο εργασίας.A common task for a leader- follower type multi-robotic system deployed in a (partially) unknown workspace is the assignment of a desired path to the leader. This path is usually derived from the projection to the workspace of a set of complicated mobility tasks which should be executed by the leader, such as visiting a sequence of regions with specific order, iterations or periodicity, and is formulated in a sufficiently expressive formal language (e.g. LTL). Respectively, each follower is assigned to keep contact with a subset of robots within the team. A major issue in multi-robotic systems is the constant maintenance of global connectivity of their underlying topology. However, system's motion in an unknown workspace in the above-described architecture implies the necessity for reconfiguration of local connectivity specifications (e.g. when robots pass through neighbourhoods of obstacles), so that task is being excuted (namely system moves on the path without getting stuck) and global connectivity is not violated. In this thesis we propose: (a) a distributed algorithm which allows systems motion while preserves the set of local connectivity specifications whenever possible , (b) a (centralized) algorithm that dynamically reconfigures local connectivity specifications of robots without violating global connectivity, when the system based on the initial set of specifications gets stuck due to obstacles encountered in workspace.Διονύσιος Θ. Μανούσακα